Sau khi tốt nghiệp trường Hậu bổ với vị trí đứng nhất lớp vào năm 1921, Ngô Đình Diệm nối bước anh cả Ngô Đình Khôi (lúc này đang làm việc trong Bộ Binh triều đình Huế) vào quan trường. Bắt đầu bằng chức quan thấp nhất, Ngô Đình Diệm từng bước được thăng chức. Nơi làm việc đầu tiên của ông là thư viện hoàng gia ở Huế.[7] Trong cùng năm, ông làm tri huyện Hương Trà, Thừa Thiên-Huế.

Năm 1923, ông được bổ nhiệm làm Tri huyện Hương Thủy, Quảng Điền, tỉnh Thừa Thiên.[4]

Năm 1926, Ngô Đình Diệm làm tri phủ Hải Lăng, Quảng Trị, sau đó làm quản đạo phủ Ninh Thuận.

Trong suốt thời gian làm quan, Ngô Đình Diệm có tiếng là người mẫn cán, vừa là người theo Công giáo và là người theo chủ nghĩa dân tộc. Ngoài ra, chủ nghĩa dân tộc Công giáo ở Việt Nam từ thập niên 1920 đến thập niên 1930 cũng tạo điều kiện cho sự thăng tiến trong quan trường của Ngô Đình Diệm.[10] Sự thăng tiến nhanh chóng của Ngô Đình Diệm một phần nhờ vào mối quan hệ thân thiết với Thượng thư Bộ Lại Nguyễn Hữu Bài (anh trai ông, Ngô Đình Khôi, là con rể của ông Nguyễn Hữu Bài). Nguyễn Hữu Bài (1863 – 1935) là một người Công giáo ủng hộ việc bản địa hóa Nhà thờ Việt Nam và tăng quyền lực hành chính cho chế độ quân chủ.[11] Nguyễn Hữu Bài được người Pháp đánh giá cao, trở thành người bảo trợ cho Ngô Đình Diệm do mối quan hệ chặt chẽ về gia đình cũng như tôn giáo.[12]

Năm 1929, Ngô Đình Diệm được bổ nhiệm tỉnh trưởng tỉnh Bình Thuận. Vào các năm 1930 và 1931, Ngô Đình Diệm đã giúp người Pháp đàn áp cuộc nổi dậy Xô Viết Nghệ Tĩnh của nông dân do những người cộng sản tổ chức.[13] Theo Fall, Ngô Đình Diệm vùi dập cách mạng vì ông không ủng hộ cách mạng. Ông cho rằng cách mạng không thể quét sạch người Pháp, nhưng có thể sẽ đe dọa nền cai trị của triều đình Huế.[14]

Ngày 8 tháng 4, năm 1933, Bảo Đại (1913-1997) đã ban hành một đạo dụ cải tổ nội các, quyết định tự mình chấp chính và sắc phong thêm 5 thượng thư mới xuất thân từ giới học giả và hành chính là Phạm Quỳnh, Thái Văn Toản, Hồ Đắc Khải, Ngô Đình Diệm và Bùi Bằng Đoàn nhằm thay thế các thượng thư già yếu hoặc kém năng lực như Nguyễn Hữu Bài, Tôn Thất Đàn, Phạm Liệu, Võ Liêm, Vương Tứ Đại.[15] Ngô Đình Diệm nhận lời Bảo Đại làm Thượng thư Bộ Lại (Bộ Nội vụ ngày nay) theo vận động hành lang của Nguyễn Hữu Bài.[16] Ông là vị thượng thư trẻ tuổi nhất trong triều đình nhà Nguyễn lúc bấy giờ.

Thời gian này ông được bầu làm Tổng thư ký đứng đầu ủy ban cải cách hành chính. Ông đề xướng hai điểm cần tu chính với chính quyền bảo hộ Pháp: một là thống nhất Trung và Bắc Kỳ theo Hòa ước Giáp Thân 1884, hai là cho Viện Nhân dân Đại biểu Trung Kỳ được quyền tự do thảo luận các vấn đề kể cả chính trị. Việc thống nhất chủ yếu để buộc chính quyền Bảo hộ Pháp bãi bỏ khâm sứ Trung Kỳ và thống sứ Bắc Kỳ và thu về thành một viện tổng trú sứ (résident général) ở Huế mà thôi. Việc thứ hai là để canh tân lối cai trị cũ. Vì các đề xướng không được chấp nhận, ông từ chức Thượng thư Bộ Lại ngày 12 tháng 7 năm 1933,[17] chỉ sau 3 tháng nhậm chức.[16] Ngô Đình Diệm lên án Hoàng đế Bảo Đại "chẳng là gì mà chỉ là công cụ trong tay người Pháp", và đã vứt bỏ các huân chương, chức tước được Bảo Đại trao. Sau đó người Pháp đã dọa bắt và lưu đày Ngô Đình Diệm.[14] Ngô Đình Diệm nổi cơn thịnh nộ và sinh lòng bất mãn vì ông Eugène Châtel, người vừa nhậm chức khâm sứ Trung Kỳ, đã cùng với Phạm Quỳnh, Tổng lý Ngự tiền văn phòng, muốn bãi bỏ quyền xử án của các hàng quan lại địa phương.[18] Phan Bội Châu có bài thơ tặng Ngô Đình Diệm đăng trên báo Tiếng dân nhân việc ông này từ quan, trong đó có những câu.[19]